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Рассматривается условно-гауссовский случай для задачи нахождения количества информации по Шеннону в совместной зада- 
че фильтрации и интерполяции стохастических процессов по непрерывно-дискретным наблюдениям с памятью. Получены соот- 
ношения, определяющие эволюцию во времени шенноновских мер количества информации. 


1. Введение 

В [1] на основе анализа научных публикаций 
для систем калмановского типа была решена зада- 
ча нахождения количества информации по Шен- 
нону в совместной задаче фильтрации и интерпо- 
ляции стохастических процессов по непрерывно- 
дискретным наблюдениям с памятью для общего 
случая. В данной работе рассматривается частный 
случай, допускающий эффективное вычисление 
информационного количества. Система обозначе- 
ний та же, что и в [1]. В дополнение 14{у;й,.8} обоз- 
начает гауссовскую плотность с параметрами а и В. 


2. Основные результаты 

Эффективное нахождение оценок фильтрации 
и интерполяции было осуществлено в [2-А\ при ус- 
ловиях (см. (2. 1-2.4) в [1]) 

/(•) = ДО + Р(()х„ ро(х) = Ы{х; ц 0 ; Г о}, 

к-)=кг,і)+Нош({,^;\ (і) 

8() = 8(Г»„?.) + С 0 , «(/,„, ё)х*+\ 

Я„,Д 0 г) = [Я„(г,г) 1 Щи) \ 1 н ы (и)\ = 

=[н 0 (и ) ! Щм(и)\, 


Со, л (/ т ,г) = [С 0 (?„„г) ! СіЦи) ! ••• ! С м (/„„г)] = 
= [С 0 (г т ,г) 1 


( 2 ) 


когда апостериорные плотности для процесса хД 
являются гауссовскими (см. (2.5), (2.7), (2.9) в [1]). 
Введем следующие обозначения 

МО = М{ хДоЩо"}, р(г к Ф) = М{ х Тк Іго.ро 1 }, 


/Цѵ+і(0ѵ,0 — 


МО 

ДДД ,0 


мо 
Мп, о 


к = 1;Я, 


т= м{[ Х ,- цшх,- 

Г кк (т к ,1) = М{[х п -р(т к ,1)][х, к -р(т к ,()]' 1 * 0 , Т)о}, 

Г 0к (т к ,1) = М{[х, -ц(0][Хг* - р(т к ,1)] т \^,По}, (4) 

Г, к (ті,т к ,1) = М{[х„ -ц(ті,()][х,„ - р(т к ,Г)] т \?.'о,По}" 


г м+ і(? я ,0 


Г(0 Голг(тлг,0 

Голг(-) Глг(глг,Г)_ 


Г(0 Гоі(т/,Т) Г о*( т"лг , Т ) 

= Г оі (-) Гц(т і,() Г Л (Т(,Т*,0 , 
ГоД(-) Г Ъ(-) Г а (т к ,Г) _ 


I = 1;2Ѵ-1, А: = 2; Я, к>1. 


Утверждение. При условиях (1), (2) 

Р,(х\х ы ) = р,(Хц+ 1 ) = ^Хлг+ь Длг+і(Тлт,0> ГѴ + і(Тдг,0}> 

р,(х) = 1 Ч{х;М 0 > Г( 0 ), ( 5 ) 

Рт(Хк) = Н{Хк',Рм(Тк,(), Глг(тлг,0} 

и блочные составляющие параметров этого распределе- 
ния на интервалах ( т <1<и определяются уравнениями 

4 М 0 = [ДО + Р(*М*)Ѵ* + Я> г (/, ДЯ'Д, г)*~„ 

<і,ц(т к ,1) = Й к і)Фі,, к =1;Я, 

ФТ(і)/сІі = Щ)Г(() + Г(/)Я г (0 + 
+С(0-Я„ г (/, г )Л 1 (г,г)Я„(т,г), 
<іТ № {т к ,і)ІЛ=-ЙІ(і,г)Е.~\і,і)Й к {і,і), к =1;Я, 
(іГ 0к (т к ,1)/с1Г = Г(()Г 0к (т к ,{)~ 

-йі Ки)я-Ни)й к (и), к= і-я, 

сІГі к (т,,т к ,1)/сІІ = -Й? (1,і)К~\і,і)Й к {1,і), 


1 = 1;Я-1, А = 2;Я, /</с, 
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с начальными условиями 

ц(1 т ) = )л(і т -0) + ёо г {г т ,і) 
р(т к ,( т ) = /л(т к ,( т -0 )+ОІ(і т ,і) 1Ѵ-\г т ,іЩг т ), 

Г(і т ) = Т(і т - 0) - Со ((„,?) №-\і т ,і)С 0 (і т , г), 
Г кк (т к ,{ т ) = Г кк (т к ,і т -0 )-С к (?„,г) 1Ѵ~ 1 (і т ,і)Ок(і т ,і), 
Г 0к (т к ,Г т ) = Г 0к (т к ,г т -0)-Со (і„,,і)\Ѵ-\і т ,і)С к (і т ,і), 
Г /к (гі,г к ,( т ) = Г, к (ті,т к ,( т -0 )-С/(г„,г) \Ѵ~Хі т ,і)С к {І т ,і), 
где 

іШі) = (Іі(і) - [к(і, і) + Н ( ,Ж 7) Дя + і(глг,/)]Л, 

І](1 т ) = Гі(І т )-[5(І т ,7) + С т (І т ,7.)(Ім^(Ія,І т -0)1, (6) 

Яо(Дг) = Нѵ(1,7)Т(1) + Ні'ц(і, і) Г/ДтяД), 

Й к (1,7) = Н к (Г,7)Г кк (х к ,1) + '^Н,(1,7) ГІ(т к ,т,,1), 

і*к 

6о(( т ,%) = Са{і т ,^)Т{і т — 0) + 6 ! і і уѵ(//п ) ^)Голг(тлг,/ т —0), (7) 
Ок(і т ,і) = О к {і т ,і)Т кк ( т к ,( т -0) + 

+^е,(? т ,г)Ги(т*,т,,/ т -0), 

і±к 

ІѴ(Г т ,7) = Ѵ(Г т , 7) +Со,м(Іт, 7)г к+ і(тм, І т -0)СІм(Г т ,7) 

и ф(-,4-0)=1іт(р(-,/) при /ІЧ,. 

Так как фиксированная память является част- 
ным случаем скользящей памяти (см. Замечание 1 
в [1]), то сформулированный результат следует как 
частный результат из Теорем 1 и 2 в [2]. 

Замечание. Поскольку процесс х, при условиях 
(1) является гауссовским [5, 6], то для априорных 
плотностей (2.6), (2.8), (2.10) справедливы свойства 
гауссовости вида (5) с заменой буквы /и на букву а, 
а Г на О. Параметры такой плотности находятся 
очевидным образом. 

Теорема 1. Количество информации (2.17) из [1] 
может быть представлено в виде (2.15) из [1], где /[] и 
/',[■] на интервалах 1<і<і т ^ определяются уравнениями 

сІІ,\х,]7л,г\а\ІсІІ = 

= ^[м{к-\иі)ййиі)г-Хт Т лит- (8) 

= Ым{К-\1,7)Н К „((,г)Гм(тм | і)НіАі,т - 

(9) 

1 г^)-Г _І (/)}- 
-[^‘(/Ігя)-!» '(/)]] ]’ 
где (см. (2), (4), (7) и Замечание) 

Гя(гя | /) = Гя(тяД) — Гоя(тяД)Г '(Г/Г оя(гяД), (Ю) 
Г(? | Тлг) = Г(Г)-Г„я(тяД)Г ,ѵ(гяД)Гоя(гяД), (И) 
Щі I Гя) = О ( / ) — 2Т ѵ ( г ,ѵ Д ) Яѵ ' ( г я Д ) Дьѵ ( г я Д ) , (12) 
с начальными условиями (3.6) и (3.7) из [1], где 

Д4 [•] = (1/2) Л/{1п [ |Г(/ т -0) |/|ПД„,) |]}, (13) 

А ІІІ [•] = (1/2) ЛД{1п[|Гя(г~я | К -0) |/|Т л (г„ | /,„) р} (14) 


-\ът) 


И Г(?„, -0) = 1ітГ(0,Гіѵ(гдг \г т -0) =1ііпГ л (тіѵ | Г) при/Т? т . 

Доказательство. По свойству гауссовских плот- 
ностей [5, 6] для р'Дхц | х) (см. (2.11) в [1]) согласно 
(5) имеет место свойство 

рІ\,(х ы |х) = ІЧ{хя;,йя(гя |/),Гя(гя |/)}, (15) 

Дя(гя | Г) = щ ѵ (г л Д) + Г^ГіѵД)Г~ 1 (Г)[;ѵ:-,и(/)], 

а Г ѵ (г ;Ѵ |?) определено в ( 10). Из к(І,і)= М{ к(і,х„хХ , 
(3. 10) в [1], (1-3) следует, что 


к(і,і) = к(і,і) + #о,я(6г)Дя + і(гяД), 


й(Тѵ,г | х) = к{1, і) + Н 0 (Г,7)х + Н ІЫ (Г, і)^(тх | (), 
к(т ы ,і\х)-к(і,і) = 

=[Но(и)+н 1 ,Аи)г т о М (т м \()г- 1 (і)][х-и(і)]- (іб) 

Тогда из (16) с учетом (7) 

М{[к(т ы ,7\х,)-к(й)][-] т \іМ = 

. 1 (17) 

= НМ,7.)Г-'(і)НДс,7). 

Из (5) и Замечания следует 
МтпМх,)/дх,][-] т \Д,Ло}=тЛі), 
М{[дІпр(1,х 1 )/дх І ][] т \г'о,т 1 Х} = В- 1 (1). (18) 


Так как М{-}=М{М{-\^,т)“}}, тогда подставляя 
(17), (18) в (3.4) из [1] получаем (8). 

Из (1), (15), (16) 


к((,х,х ы ,г)- Щ ы ,і\ х) = Ні,м(.(,7.)[х м - Д(ТлгД)] 
-Я 1>Л г ((, г)Г о» (гдт , ОТ" 1 (г)[х- іл(т)]. 
Тогда согласно (4), (10), (19) 
мр(/,х,Д/г)-А(глгд| х,)][] т \До,г]о} = 


- Нім((,7.)Гм(тм | 


(19) 


( 20 ) 


Так как (см. (2.5), (2.7), (2.9), (2.11), (2.13) в [1]) 

р'Дхы I х) = р'(х-Хц)/р,(х) = 

= р\ т (х\хы)рІ(хк)І р,(х), 


д 1п р ' А , (хя | х) = д 1п р, \ (х | ія ) д\п р,(х) (21) 

дх дх дх 

Аналогично (15) 

р1\т(х | Хя) = 1Ѵ{х;,и(Г | гя),Г(? | гя |)>, (22) 

р(і | Гя) = /л(() + Г оя(гяД)ГяЧгяД)[хя — Дя(гяД)], 
а Г(?|/ѵ) определено в (11). Из (5), (22) 

-»т], 

X,) = _г-' ( , |і -, )|І _ м , | (23) 

Тогда согласно (11), (22), (23) 
М{[дІпр І (х,)/дх,][-] т \і'о,г 1 Ь"}=Г- > (1), 

М{[д 1п р',Дх, I х^)/дх,][-] т \7‘о,Ѵо} = Г-^І Тя), (24) 
М{[д 1п р',\ т (х, I х?)/і дх , ] X 
х[дІпр,(х,)/дх,] г \Д,Ло} = т- 1 (0- 


7 




Известия Томского политехнического университета. 2004. Т. 307. № 4 


М 


Используя (21), (24) получаем 
<Э 1 п р‘ т \,(х? \х,)( діп р'\,(х? | х,) 


дх, 


дх, 


М\ = 


= Г- 1 (7|г Л )-Г 1 (7). (25) 

Аналогичные вычисления для априорных плот- 
ностей (см. Замечание) приводят к формуле 

\д\пр(тц,х? \1,х,)( д\пр(т м ,х?\их,) 


М< 


дх, 


дх, 


= В\і\т м )-В\і). 


(26) 


Из (21), (24) 

М{\д\п рДх? I х,)1дх,][д\пр,(х,)1дх,] т \і' а ,г\а} =0. (27) 
Аналогично, получаем 

М{[д\пр(т к ,х? \і,х,)/дх,][д\пр{і,х,)Ідх,] т } =0. (28) 


Так как М{-}=М{М{-\^, 77 ”}}, тогда подставляя (20), 
(25-28) в (3.5) из [1] получаем (9). Из (3.13) из [1] и (5) 

[р,Лх)/р, т -о(х)] = [с(ф т ),г\х)/с(ф т ),і)\ = 

= ^{х;^(/ т ),Г(/ т )}/1Ѵ{х; /и(г т -0),Г(/ т -0)}]. 


Тогда с учетом М{-}=М{М{'\^,г)“}} и М{-}= 
=М{М{-\^,гі"Д 1 }}, получаем 

М{1п[с(гі(і т ), г |х,„)/с( ф т ), г)]} = 

= (1/2)М{1п[|Г(4і -0) |/Г(/„,)]}. 

Подстановка (29) в (3.8) из [1] приводит к (13). 
Используя (3.18) из [1] и (15) аналогично (13), по- 
лучаем (14). 

Теорема 2. Количество информации (2.17) из [1] мо- 
жет быть представлено в виде (2. 16) из [ 1 ], где //[) и /,].[■ 1 
на интервалах 1 т <1<1 тЯ определяются уравнениями 

сіЦ\хДД Пі щ\ісіі = 

, _ (30) 

=^іі[М{к~\и)н 1 м(и)гіі(гм,()ни(,т, 

сІГ,\, \х,;іп,гіо | х?\/Ж = 

=±хѵ[м{к-\иі)}н а (ит)г(і\т„)ні(!,і)]- (зі) 

-^г[0(/)[М{Г-'(/ | т, ѵ )} - В\і | г,ѵ)||, 

где (см. (2), (4), (7)) 

Йіы ((,?.) = [77о(?,?:)Гол'(тлг,?) + 7 /і.іѵ(/, г)Глг(глг,П] = 

=[Щи) \н г (!,і) \ - й„ц,д\, 
с начальными условиями (3.22) и (3.23) из [1], где 
А/М ] = (1/2)М{1п[|Т^(тж,7 т -0) |/|Г ѵ (г,ѵЛ,) |]}, (33) 
А/^[ ] = (1/2)ЛТ{1п[|Г(/„, - 0 1 х я ) |/|Г(Г,„ | т„) |]} (34) 

и Г ѵ (ТѵТ т -0)=1ітГ іѴ (^ ѵ ,г), Г(4-0|т № )=1ітГ(/|тдг) при Л 1 т . 

Доказательство. Соотношения (1-3), (16) и (22) 
дают, что 


Ыі,і | х ы ) = ) + Н 0 (і,г)р(г | глг) + Н 1г цЦ,і)хц, 

И(і,г\хы)-Ш,Д) = 

— [ТГо( 7 ,?)Гол'(Гл г Т)Г'л 1 1 ('Гя, 7 ) + ^)] х 

у.[хц -^«(гя, 01- 

Таким образом, с учетом (4), (7), (32) получаем 

мщфГ)-и(и) П-] г кг 7 о и } = 

_ ' (36) 

Согласно (1), (2) и (35) 

к(1,х,Хн,т)-И(і,і\хм)=Н 0 (1,і)[х- р(і\т я )]. (37) 

Из (22) и (37) следует 

М{[к{і,х,,х? ,і ) | х")] [•] г Іго, ч'о} = 

1 (38) 

= #„(?,г)ГС|Тѵ)#о г С,г). 

Аналогично (24) с учетом Замечания, получаем 

М{[д\пр(1,х, | Тм,Хг)Ідх,\[] т \Д,т]о} = В'\т\ ты). (39) 

Так как М{-}=М{М{-\^,ті"}}, тогда, подставляя 
(36) в (3.20) из [1], получаем (30). Использование 
(24), (38), (39) в (3.21) из [1] дает (31). Формулы (33), 
(34) получаются аналогично (13), (14) с использова- 
нием (3.24), (3.25), (3.29), (3.31) из [1] и (5), (22). 

Следствие 1. Количество информации (2.17) из 
[ 1 ] на интервалах 4 </< 4 +і определяется уравнением 

с//С|х г ' ѵ ,х,;до,Ц(Г |М = 

= 1гг|Л/{Л- 1 (г,г)Яо„ ѵ (г,д)Г №+І (г,ѵТ)Я,[, ѵ (г,г)}| - (40) 
1 т.ѵ ) } - В \( 1 Тѵ)||, 

с начальным условием 

ЛТ'1 [-1 = (1/2)М{1п[|Т ж+ і(гАл, -0 )|/|г* +1 (т* ,А„)|]} (4 1 ) 

и Гл, + 1 (Тѵ,?„-0)=1ітГ ѵ+ 1 (Т ѵ ,0 при Л і т . 

Доказательство. Из (2), (4), (7), (10), получаем 
Я„(4г)г 1 (ОЯо 7 '(?,г)+Я 1 , Л г(?,г)г Л ,(тлг | г)НД(г,і) = 

= Н 0 (і,і)Г(і)Ниі,і) + Н 1 Д(,і)ГІАтм,Г)Н 0 Т (Г,і) + 

+Но({, ^)ГоN(ІN + (42) 

+ Ні и (1 ,7.)Т ц (т N ,1) Ні и (1 = 

= ТТиѵ(04)Г мДсц,()На.ы{1,1)- 

Использование ( 8 ), (9) в (2.15) из [1] с учетом 
(42) дает (40). Из (4) и (10) следует [7] 

|г* + і(т*,0| = |Г(0 \\г„(т„ | /)|. (43) 

Тогда, используя (3.6), (3.7) в (2.15) из [1] с уче- 
том (13), (14), (43), получаем (41). 

Аналогично (42), из (2), (4), (11), (32) следует 
+Но(1,і)Г(і | Т\) 11 и ( Л г) = 

= /С. V (7. с)) V ( Гд . /) // 1:'\ (К с) ■ (44) 

Использование (30), (31) в (2.16) из [1] с учетом 
(44) дает (40). Из (4) и (1 1 ) следует [7] 

ГА+ТтАТ) I = I ГА(тАТ) 1| Г (/ 1 Сѵ) • (45) 
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Тогда, используя (3.22), (3.23) в (2.16) из [1] с 
учетом (33), (34), (45), получаем (41). 

Следствие 2. Пусть в ( 1 ), (2) отсутствуют зависи- 
мости коэффициентов от г. Тогда имеют место Тео- 
ремы 1, 2 и Следствие 2, где отсутствуют зависимос- 
ти от і и оператор М{-}. Таким образом, точное вы- 
числение 4'[ |. возможно только в услов- 

но-гауссовском случае при отсутствии в каналах 
наблюдения обратной связи (см. Замечание 1 в [1]). 

3. Оптимальная передача стохастических процессов 
по каналам с запаздыванием 

Сигнал х„ сообщение на выходе непрерывного 
канала передачи і, и сообщение на выходе дискрет- 
ного канала передачи т}{1 т ) являются скалярными и 
определяются в виде 

сіх, = Р( 1 )х,ё{ + Ф 1 ( 1 )ёа>і, р 0 (х) = Ы {х-,/и 0 ,уо}, 
ёі,=к(і,х Т ,і)ё 1 + Ф 2 ( 1 )ёѵ,, 

11 ( 1 т) = §( 1 т,Х т , 1 ) + Фъ( 1 т )Е,{ 1 т ). 

Из соотношений (46) следует, что в непрерывном 
и дискретном каналах передаются прошлые значе- 
ния сигнала, т.е. непрерывный и дискретный кана- 
лы являются каналами передачи с запаздыванием. 

Задача: в классе кодирующих функционалов 
К 1 ={Н 1 ;0 1 }={/г(-);,?(')Ь удовлетворяющих энергети- 
ческим ограничениям 

М{к 2 (і,х х ,р)}<к(і), М{§ 2 (і т ,х Т ,і)} <ё(( т ), 

найти функционалы /;°(-) и ^(), обеспечивающие 
минимальную ошибку декодирования А“(/)=іп(’А(0 
относительно задачи фильтрации, где А(1)=М{[х,- 
-Кбг.ф] 2 } является ошибкой оценки фильтрации 
процесса х„ которая соответствует приня- 
тому сообщению Й;77о”} при заданных /г(-) и §(■). 

Теорема 3. В классе КрІН^О, 1 } линейных функ- 
ционалов 

Ні = {/;(•) : Ш, х„і) = Ш, г) + Щи гК }, 
б! = {К9: §(и„х Т ,і) = §{г т ,і) + Сі(и„г)х Т } ■. 

1) оптимальные кодирующие функционалы /г°(?,х Г ,^), 
${і т ,х„і) и оптимальное сообщение {^,г]\і т )} име- 
ют вид 

к\и°)=~н^и°)и\і), 

Я 1 °(г, г °) = [Л(0/А? 1 (г,0] 1/2 , 

8°(( т ,г°) = -С?(( т ,і 0 )р\т,і т -0), 

С?({ т ,г 0 ) = [Ш/А 0 п(*Л-0)] 112 , 

= [ А(0/ Ап(П] 1/2 [^ - р\т,і)]сіі + ФЛ<)ёѵ„ 
7 7 0 (? и ) = [^)/А? 1 (т,? т -0)] 1/2 х 
х[лу -ц°(т,? т -0)]+Ф 3 

2) оптимальное декодирование р°(1) и минималь- 
ная ошибка декодирования А°(/) на интервалах 
І т <«1 т+1 определяются уравнениями 


ёр\і) = РЦ)р.\і)ёі + 

+К 1 (I) [А(0/. Ап (г,?)] 1/2 Аоі(т, 0 *?, 
ёА°(()/ё( = 

= (2 Р(Г) - [(Дг,(т,/)) 2 / Д 0 (ОА? 1 (г,?)])х 

хд° (0+0(0 


с начальными условиями 

ц°(0,) = /Л0, -0) + д2і(г,О-0)х 

х[|(?,„)А?і(г,/„, -0)] 1/2 [К(?,„) + я(бО] ‘цЧ^,), 
А 0 (/,„) = Д°(/,„-0) Ѵ(іт) 


1 + 


[ѵ« т )+Ш\ 

(<(!,/,„ -О)) 2 
^(О)Г Д°(О-0)А? 1 (т,О-0) 


Ко.) 


1- 


г Д е 0(о= <т, щ=ш, т= Ф?(4); 

3) ц°(г,0, Л?|(г,0 и Ащ(т,0 на интервалах 1 т <Кі т+] 
определяются уравнениями 

ёр°(т, 0 = Я- 1 (()[тА°п(т,г)] ІІ 2 ёі?, 
ёА 0 п(т,()/ё( = -К- 1 (гШі)А°п(т,І), 
сІА° 0 І (т,І)/ёГ = [Р(()~ 
с начальными условиями 

/и°(т,{„,) = /л°{т,( т — 0) + 
+[Ю,„)Ап(г,О,-0)] 1/2 [К(/,„) + КО,)] ч ц°(6„), 

Дп(тЛ) = К(б„)[Жб,,) + К^)] _1 Ап(г,0 -0), 
Д2і(т,0) = К(0)[К(0) + К^)]" 1 Аоі(г,0-0); 

4) Пусть 7,° [х,; ( ^°)о', (о 0 )”] есть количество информа- 
ции, достигаемое на кодирующих функциона- 
лах (47), (48). Тогда имеет место свойство 


где $ир берется по всем и 

/,°[х ( ;(г 0 )'о,(ц°)о] = 

Кб)" 


= 1 
2 


)5> 


1 + 


х 

ѵ і_ 


1 + 


ѵ(и) 

Кб) 


(Аоі(г,?,- - О)) 2 
Юб)^ А°(б-0)А? 1 (т,б-0) 


1- 


1 \ И{а) (Аоі(т,<т)) 2 
2 " 4 7?(ст ) Д°(ег )Ап(г,сг ) 


-< 2 {°) 


1 


1 


Д°(сг) Віо) 


ёа. 


Доказательство проводится на основе результа- 
тов Утверждения и Теоремы 1 с использованием 
неравенств Коши-Буняковского, Иенсена, Фише- 
ра, Ихары [5] аналогично доказательству соответ- 
ствующих результатов в [8, 9]. 
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